DM&ML
DM_ML NOTES
ML_TEST
cards
比较检验
步长选择
采样方法（蒙特卡洛方法）
层次聚类
查准率，查重率与F1
超平面参数的放缩
存在问题
错误率与精度
单隐层链式求导
得到参数的极大似然估计
对数几率回归
对数似然
多滤波器（卷积核）情形
多元线性回归
反向传播如何实现？
反向传播如何实现？数学原理？
构造哈希树
广义线性回归
过采样和欠采样
好而不同
核函数
划分选择
划分样本空间的超平面线性方程描述
混合属性距离
机器学习分类
机器学习算法分类
基本流程
基本形式
激活函数
激活函数的梯度
极大似然估计
集成学习
接受拒绝采样
解出a后怎么解w和b？
矩阵求导
距离的基本性质
距离度量
卷积神经网络
均方误差
拉普拉斯修正
连乘导致的属性抹去问题
留出法
密度聚类
闵可夫斯基距离
逆变换采样
判别式模型
评估方法
朴素贝叶斯分类器
浅层学习的局限
缺失值处理
任务
软间隔
软间隔KKT条件
弱对偶，强对偶
深度学习诞生
深度学习和浅层学习的区别
深度学习减少参数的方法
神经网络
神经元模型
生成关联规则的剪枝原理
生成式模型
属性独立性假设
数据类型
随机森林
损失函数
特征表示的粒度
梯度下降
梯度消失，梯度爆炸
万有逼近性
未命名
未命名 1
未命名 2
未命名 3
未命名 4
误差与拟合
先验概率 后验概率
线性回归
线性模型
线性判别分析
相似度度量
相似度度量习题
小批量更新
协方差
协方差矩阵
性能度量
样本点到超平面的距离
一元线性回归
预防过拟合
原型聚类
约束转换
早停
怎么确定(d+l+1)q + l个参数？
正则化
支持度计算
支持向量机
重要性采样
转换后要解决的问题
自助法
ACCESS
AdaBoost
AGNES
ANN_BP homework
Apriori
Bagging
Boosting
BP_demo
PY
cheng_fa
Cluster_demo
IPYNB
DBSCAN
EM算法
FP-GROWTH
HASH TREE
Jensen不等式
K-means
k折交叉验证
MCMC采样
ML Index
MLPPT发言稿
MLP
MLP
IPYNB
MLP_backup
IPYNB
MP-神经元模型
ROC和AUC
SMO算法
task
VDM距离
1. ML大纲 blog
1. ML大纲 canvas
CANVAS
2. 模型评估与选择 canvas
CANVAS
2. 模型选择与评估 blog
3. 线性模型 blog
3. 线性模型 canvas
CANVAS
4. 决策树 blog
4. 决策树 canvas
CANVAS
5. 支持向量机 canvas
CANVAS
6. BP神经网络 blog
6. BP神经网络 canvas
CANVAS
7. 贝叶斯分类器 canvas
CANVAS
8. 集成学习 canvas
CANVAS
9. 聚类 canvas
CANVAS
10. 采样方法 canvas
CANVAS
11. CNN canvas
CANVAS

剪枝

研究表明：划分选择的各种准则虽然对决策树的尺寸有较大影响，但是对泛化性能的影响很有限，而剪枝方法和程度对决策树泛化性能的影响更为显著！

判断剪枝前后泛化性能

  • 模型评估方法
    • 错误率
    • 精度

预剪枝

  • 通过判断划分前后整个树上对样本集的精度来决定是否剪枝
    • 如果划分后精度下降或者精度不变(奥卡姆剃刀之树越简单越好)
      • 拒绝分裂（有欠拟合风险）
    • 如果精度升高
      • 分裂

后剪枝

  • 先构造整棵树，在从最深处开始剪枝（越深的分支越容易过拟合）
    • 如果剪枝后精度下降或者精度不变（奥卡姆剃刀之步骤越少越好）
      • 保留
    • 如果剪枝后精度上升
      • 剪枝

预剪枝VS后剪枝

  • 预剪枝
    • 测试时间开销降低，训练时间减少，欠拟合风险增加
  • 后剪枝
    • 测试时间开销降低，训练时间增加，欠拟合风险基本不变
Table Of Contents
剪枝
判断剪枝前后泛化性能
预剪枝
后剪枝
预剪枝VS后剪枝